GRACE: Grounded Reasoning via Adapter Composition and Evidence-Aware Calibration for Educational Visual Question Answering
GRACE：通过适配器组合与证据感知校准实现教育视觉问答的接地推理
🧭 多模态VQA · 参数高效适配
Columbia University · Carnegie Mellon University · University of California, Berkeley · Stevens Institute of Technology · Georgetown University
GRACE利用题目教学状态路由轻量语言与视觉适配器并做证据感知选项校准，在ScienceQA上将准确率从90.5%提升至93.1%
📌 工作参考价值（4 点）
- 将结构化业务状态（如类目、场景、用户意图、选项/候选结构）作为路由信号，组合不同因子专属的轻量 adapter 或 prompt，可在不微调大模型的前提下实现多场景/多任务适配，类似推荐系统中的多场景专家路由。
- 证据感知选项校准：在共享上下文中对所有候选联合打分并校准，可借鉴到电商搜索/推荐的精排阶段，尤其适合语义相近的候选（如相似商品标题/广告文案）的去混淆排序。
- 冻结多模态 LLM，仅训练轻量视觉/语言 adapter，降低多模态业务（商品图+文本描述）接入大模型的训练成本，便于快速迭代。
- 消融实验说明结构化状态、跨模态证据和选项校准各自贡献约为1-1.5个点，提示在多模态推荐/搜索中应同等重视元数据路由信号与候选间联合校准。